PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions
PhoneHarness：混合GUI、CLI与工具动作的手机智能体基准与执行框架
🧭 手机智能体 · 混合动作执行基准
Tencent Hunyuan · The Chinese University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Tsinghua University
提出混合动作手机智能体基准和执行框架，通过率75.0%，超越仅GUI方法12.9个百分点
📌 工作参考价值（4 点）
- 移动端自动化任务设计：在电商App的自动下单、客服回复等场景中，不应仅依赖GUI视觉操作，可借鉴混合GUI、CLI（设备侧命令）和工具调用的思路，提升动作可靠性与效率。
- 可验证执行与审计：引入“可观察副效应”验证机制（如检查文件是否修改、消息是否发送），确保智能体操作真实生效。电商场景中可类似验证订单是否提交、推送是否发出，避免“看起来很对但实际没做”的风险。
- 动作路由与委托架构：PhoneHarness采用确定性路由与有限GUI委托的代理循环，可作为构建多动作空间购物助手（如既能操作界面又能调用API查询商品）的参考架构。
- 任务完成式评估：其基准设计关注任务完成而非仅答案匹配，可直接迁移到推荐系统多步交互评测，例如衡量购物助手是否真正帮用户完成“挑选并下单”全流程，而非仅给出推荐列表。